获取隐藏了部分内容的网页源代码，审查元素可以，查看源代码不行。学习python爬虫

您所在的位置：网站首页 › 数据查询网站模板源码怎么查找 › 获取隐藏了部分内容的网页源代码，审查元素可以，查看源代码不行。学习python爬虫

获取隐藏了部分内容的网页源代码，审查元素可以，查看源代码不行。学习python爬虫

2024-07-12 17:18| 来源: 网络整理| 查看: 265

故事背景：最近一个朋友想批量下载“巨潮资讯网”上有关“股票质押的”的PDF，拜托我之后，我想用python写一个爬虫工具。

原网页如下： http://www.cninfo.com.cn/new/fulltextSearch?notautosubmit=&keyWord=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC

在这里插入图片描述

构想：按照之前的Python爬虫入门经验，获取网页源代码，找出下载链接，再下载就ok。好！查看网页源代码。。。放置“搜索结果”的这部分网页代码看不到？！这个“深圳万科”只是个示例

在这里插入图片描述

但是审查元素的时候是存在的，“何康新能”“永高股份”。。。：

在这里插入图片描述

去研究了一下，怎么获得隐藏的网页代码，网上都说什么F12抓包，抓包。。。懵逼，我是一个小白啊，能不能来个手把手教学的？看到两个有用的网页：

https://zhidao.baidu.com/question/1178494981402265499.html 在这里插入图片描述 https://www.qqjike.com/qqjishu/2018/0124/5500.html

我回到“巨潮资讯网”，F12审查元素 ——> Network ——> XHR ——> F5 reload，看到这几个东西：在这里插入图片描述

选择这个full?searchxxxxxxxxxx：在这里插入图片描述

在进入这个网页后，公告栏是请求了另一个url：

Request URL: http://www.cninfo.com.cn/new/fulltextSearch/full?searchkey=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC&sdate=&edate=&isfulltext=false&sortName=pubdate&sortType=desc&pageNum=1

打开它，得到了返回数据，就是想要的“搜索结果”的数据：在这里插入图片描述 8. 这个网页先呈现出一个布局界面，核心内容即搜索结果是异步加载的。以后如果学习了html、JavaScrip等前端知识，再回来把这里的异步加载讲清楚。

【本文地址】

获取隐藏了部分内容的网页源代码，审查元素可以，查看源代码不行。学习python爬虫

获取隐藏了部分内容的网页源代码，审查元素可以，查看源代码不行。学习python爬虫

今日新闻

推荐新闻